Tiền vệ Khedira đã có 30 lần xuất hiện trong các cấp độ đội trẻ của Đức, từng là thành viên đội U21, là đội trưởng ở giải Vô địch U21 châu Âu 2009, giải đấu mà Đức vô địch.

Khedria có trận ra mắt cho đội tuyển quốc gia Đức vào ngày 5 tháng 9 năm 2009 trong trận giao hữu gặp đội tuyển bóng đá quốc gia Nam Phi. Anh vào sân ở phút 73 thay Simon Rolfes.[8]

Khedira đã được huấn luyện viên Joachim Löw chọn vào danh sách 23 cầu thủ Đức tham dự World Cup 2010 tại Nam Phi.[9] Anh cũng là người ghi bàn thắng cuối cùng của đội tuyển Đức tại giải đấu này, ấn định chiến thắng 3-2 trong trận tranh huy chương đồng với Uruguay vào ngày 10 tháng 7 năm 2010.[10]

Năm 2014, anh cùng đội tuyển Đức giành chức vô địch lần thứ tư sau khi vượt qua Argentina ở trận chung kết.

Anh tiếp tục được triệu tập tham dự World Cup 2018 diễn ra tại Nga, tuy nhiên đội tuyển Đức trở thành nhà cựu vô địch sau khi thất bại 0-2 trước Hàn Quốc ở lượt trận cuối vòng bảng.